Alla morte del principe, i suoi successori, desiderosi di liberarsi di un'eredità cosi scomoda ed impopolare, restituirono all'uso pubblico l'area occupata dalla gigantesca e irriverente reggia: distrutte le costruzioni del Palatino (inglobate nel nuovo Palazzo Imperiale dei Flavi) e della valle compresa tra l'Oppio e il Celio, iniziarono la costruzione del monumentale anfiteatro di pietra, il Colosseo, nello spazio in precedenza occupato dallo stagnum Neronis, che nel nome conserva il ricordo del Colosso dell'ultimo imperatore della famiglia Giulia. Solo il padiglione del colle Oppio sopravvisse al rinnovamento urbanistico dei Flavi: fino al 104 d.C. e all'inizio dei lavori per la realizzazione del soprastante complesso termale di Traiano,progettato dall'architetto Apollodoro di Damasco. L'ingegnosa idea di colmare di terra l'edificio neroniano, già spogliato dei marmi e delle opere d'arte, sfruttandolo come sostruzione artificiale delle nuove terme, se da un lato ha cancellato la memoria dell'edificio neroniano, dall'altro ha consentito la conservazione fino ai giorni nostri del nucleo residenziale del colle Oppio. Sulle rovine delle Terme di Traiano, cadute in abbandono dopo il taglio degli acquedotti da parte di Vitige, re degli Ostrogoti, nel 539 d.C., sorsero nel medioevo orti e vigne, a caratterizzare il nuovo paesaggio del colle che aveva ospitato la Reggia d'oro di Nerone.